Tanizaki được sinh ra trong một gia đình thương gia giàu có ở Nihonbashi, Tokyo, nơi chú ông là chủ sở hữu tòa soạn báo do ông nội của ông thành lập. Tanizaki sinh ra và lớn lê với một tuổi thơ em đềm mà sau này, ông đã miêu tả trong cuốn Yōshō jidai (Thời thơ ấu, 1956). Ngôi nhà thời thơ ấu của ông đã bị phá hủy trong trận động đất Meiji Tokyo năm 1894. Từ đó, tài chính của gia đình ông giảm đáng kể, khi lớn lên ông buộc phải đi ở để làm gia sư cho một gia đình khác.

Mặc dù gặp khó khăn về kinh tế, nhưng ông vẫn theo học trường trung học đệ nhất cấp 1 ở Tokyo , nơi ông đã làm quen với Isamu Yoshii. Tanizaki đã tham dự Khoa Văn học Đại học Hoàng gia Tokyo từ năm 1908, nhưng bị buộc phải bỏ học năm 1911 do không có khả năng trả học phí.